Bộ Tổng tham mưu được xem là cơ quan tham mưu quân sự chính quy đầu tiên của Quân đội nhân dân Việt Nam, với ngày thành lập là ngày 7 tháng 9 năm 1945, theo nội dung chỉ thị của Chủ tịch Chính phủ Cách mạng lâm thời Việt Nam Dân chủ Cộng hòa Hồ Chí Minh giao cho ông Hoàng Văn Thái làm Tổng tham mưu trưởng đầu tiên của lực lượng vũ trang Việt Nam Giải phóng quân do Việt Minh lãnh đạo. Tuy nhiên, do áp lực của quân đội Trung Hoa Quốc Dân Đảng đòi giải thể lực lượng chính quy Việt Nam Giải phóng quân, tháng 11 năm 1945, Việt Nam giải phóng quân đổi tên thành Vệ quốc đoàn. Ngày 2 tháng 3 năm 1946, Kháng chiến Ủy viên Hội được thành lập với Võ Nguyên Giáp làm Chủ tịch; đến ngày 6 tháng 5 năm 1946, thì đổi tên thành Quân sự Ủy viên Hội theo Sắc lệnh 60-SL của Chủ tịch Hồ Chí Minh, gọi tắt là Quân ủy hội. Bộ Tổng tham mưu Vệ quốc đoàn chuyển thành Cục tham mưu, là một trong 5 cơ quan chuyên môn thuộc Quân ủy hội.Tháng 11 năm 1946, Bộ Quốc phòng sáp nhập với Quân sự Ủy viên Hội thành Bộ Quốc phòng - Tổng Chỉ huy, do Võ Nguyên Giáp làm Bộ trưởng Bộ Quốc phòng kiêm Tổng Chỉ huy Quân đội toàn quốc. Theo Sắc lệnh 47-SL ngày 1 tháng 5 năm 1947 của Chủ tịch nước, Bộ Tổng tham mưu là một trong 7 cơ quan chuyên môn của Bộ Tổng Chỉ huy.

Mãi đến sau năm 1975, khi Bộ Tổng Tư lệnh Quân đội nhân dân Việt Nam chấm dứt hoạt động, Bộ Tổng tham mưu chuyển về trực thuộc quyền quản lý hành chính của Bộ Quốc phòng.